<!DOCTYPE html>
<html>
  <head>
  <meta http-equiv="content-type" content="text/html; charset=utf-8">
  <meta content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=0" name="viewport">
  <meta name="description" content="tong.li&#39;s blog">
  <meta name="keyword" content="彤哥哥博客，95后技术爱好者,现就职于同程旅行/同程艺龙上海分公司，专注于互联网技术分享的平台。">
  
    <link rel="shortcut icon" href="/css/images/icon.png">
  
  <title>
    
      RocketMQ概述 | 彤哥哥的博客
    
  </title>
  <link href="https://cdn.staticfile.org/font-awesome/4.7.0/css/font-awesome.min.css" rel="stylesheet">
  <link href="https://cdn.staticfile.org/nprogress/0.2.0/nprogress.min.css" rel="stylesheet">
  <link href="https://cdn.staticfile.org/highlight.js/9.12.0/styles/tomorrow-night.min.css" rel="stylesheet">
  
<link rel="stylesheet" href="/css/style.css">

  
  <script src="https://cdn.staticfile.org/jquery/3.2.1/jquery.min.js"></script>
  <script src="https://cdn.staticfile.org/geopattern/1.2.3/js/geopattern.min.js"></script>
  <script src="https://cdn.staticfile.org/nprogress/0.2.0/nprogress.min.js"></script>
  
    
<script src="/js/qrious.js"></script>

  
  
  
  
    <!-- MathJax support START -->
    <script type="text/x-mathjax-config">
      MathJax.Hub.Config({
        tex2jax: {
          inlineMath: [ ['$','$'], ["\\(","\\)"]  ],
          processEscapes: true,
          skipTags: ['script', 'noscript', 'style', 'textarea', 'pre', 'code']
        }
      });
    </script>

    <script type="text/x-mathjax-config">
      MathJax.Hub.Queue(function() {
        var all = MathJax.Hub.getAllJax(), i;
        for (i=0; i < all.length; i += 1) {
          all[i].SourceElement().parentNode.className += ' has-jax';
        }
      });
    </script>
    <script type="text/javascript" src="https://cdn.staticfile.org/mathjax/2.7.5/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script>
    <!-- MathJax support END -->
  


  
  
    
<script src="/js/local-search.js"></script>


<meta name="generator" content="Hexo 5.4.2"></head>
<div class="wechat-share">
  <img src="/css/images/logo.png" />
</div>
  <body>
    <header class="header fixed-header">
  <div class="header-container">
    <a class="home-link" href="/">
      <div class="logo"></div>
      <span>彤哥哥的博客</span>
    </a>
    <ul class="right-list">
      
        <li class="list-item">
          
            <a href="/" class="item-link">主页</a>
          
        </li>
      
        <li class="list-item">
          
            <a href="/series/" class="item-link">分类</a>
          
        </li>
      
        <li class="list-item">
          
            <a href="/tags/" class="item-link">标签</a>
          
        </li>
      
        <li class="list-item">
          
            <a href="/archives/" class="item-link">归档</a>
          
        </li>
      
        <li class="list-item">
          
            <a href="/project/" class="item-link">项目</a>
          
        </li>
      
        <li class="list-item">
          
            <a href="/about/" class="item-link">关于</a>
          
        </li>
      
      
        <li class="menu-item menu-item-search right-list">
    <a role="button" class="popup-trigger">
        <i class="fa fa-search fa-fw"></i>
    </a>
</li>
      
    </ul>
    <div class="menu">
      <span class="icon-bar"></span>
      <span class="icon-bar"></span>
      <span class="icon-bar"></span>
    </div>
    <div class="menu-mask">
      <ul class="menu-list">
        
          <li class="menu-item">
            
              <a href="/" class="menu-link">主页</a>
            
          </li>
        
          <li class="menu-item">
            
              <a href="/series/" class="menu-link">分类</a>
            
          </li>
        
          <li class="menu-item">
            
              <a href="/tags/" class="menu-link">标签</a>
            
          </li>
        
          <li class="menu-item">
            
              <a href="/archives/" class="menu-link">归档</a>
            
          </li>
        
          <li class="menu-item">
            
              <a href="/project/" class="menu-link">项目</a>
            
          </li>
        
          <li class="menu-item">
            
              <a href="/about/" class="menu-link">关于</a>
            
          </li>
        
      </ul>
    </div>
    
      <div class="search-pop-overlay">
    <div class="popup search-popup">
        <div class="search-header">
            <span class="search-icon">
                <i class="fa fa-search"></i>
            </span>
            <div class="search-input-container">
                <input autocomplete="off" autocapitalize="off"
                    placeholder="Please enter your keyword(s) to search." spellcheck="false"
                    type="search" class="search-input">
            </div>
            <span class="popup-btn-close">
                <i class="fa fa-times-circle"></i>
            </span>
        </div>
        <div id="search-result">
            <div id="no-result">
                <i class="fa fa-spinner fa-pulse fa-5x fa-fw"></i>
            </div>
        </div>
    </div>
</div>
    
  </div>
</header>

    <div id="article-banner">
  <h2>RocketMQ概述</h2>
  <p class="post-date">2019-11-08</p>
  <div class="arrow-down">
    <a href="javascript:;"></a>
  </div>
</div>
<main class="app-body flex-box">
  <!-- Article START -->
  <article class="post-article">
    <section class="markdown-content"><h1 id="1-MQ介绍"><a href="#1-MQ介绍" class="headerlink" title="1. MQ介绍"></a>1. MQ介绍</h1><h2 id="1-1-为什么要用MQ"><a href="#1-1-为什么要用MQ" class="headerlink" title="1.1 为什么要用MQ"></a>1.1 为什么要用MQ</h2><p>消息队列是一种“先进先出”的数据结构</p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731170754.png"></p>
<p>其应用场景主要包含以下3个方面</p>
<ul>
<li>应用解耦</li>
</ul>
<p>系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。</p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731170831.png"></p>
<p>使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复后，补充处理存在消息队列中的订单消息即可，终端系统感知不到物流系统发生过几分钟故障。</p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731170911.png"></p>
<ul>
<li>流量削峰</li>
</ul>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171052.png"></p>
<p>应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统压垮。有了消息队列可以将大量请求缓存起来，分散到很长一段时间处理，这样可以大大提到系统的稳定性和用户体验。</p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171105.png"></p>
<p>一般情况，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，这会影响用户体验，而如果使用消息队列将请求缓存起来，等待系统处理完毕后通知用户下单完毕，这样总不能下单体验要好。</p>
<p><u>处于经济考量目的：</u></p>
<p>业务系统正常时段的QPS如果是1000，流量最高峰是10000，为了应对流量高峰配置高性能的服务器显然不划算，这时可以使用消息队列对峰值流量削峰</p>
<ul>
<li>数据分发</li>
</ul>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171113.png"></p>
<p>通过消息队列可以让数据在多个系统更加之间进行流通。数据的产生方不需要关心谁来使用数据，只需要将数据发送到消息队列，数据使用方直接在消息队列中直接获取数据即可</p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171118.png"></p>
<h2 id="1-2-MQ的优点和缺点"><a href="#1-2-MQ的优点和缺点" class="headerlink" title="1.2 MQ的优点和缺点"></a>1.2 MQ的优点和缺点</h2><p>优点：解耦、削峰、数据分发</p>
<p>缺点包含以下几点：</p>
<ul>
<li><p>系统可用性降低</p>
<p>系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。</p>
<p>如何保证MQ的高可用？</p>
</li>
<li><p>系统复杂度提高</p>
<p>MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。</p>
<p>如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？</p>
</li>
<li><p>一致性问题</p>
<p>A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。</p>
<p>如何保证消息数据处理的一致性？</p>
</li>
</ul>
<h2 id="1-3-RocetMQ历史及其特征"><a href="#1-3-RocetMQ历史及其特征" class="headerlink" title="1.3 RocetMQ历史及其特征"></a>1.3 RocetMQ历史及其特征</h2><p>​      阿里的消息中间件有很长的历史，从2007年的Notify到2010年的Napoli, 2011年升级后改为MetaQ，然后到2012年开始做RocketMQ, RocketMQ使用Java语言开发，于2016年开源。第一代的Notify主要使用了推模型，解决了事务消息；第二代的MetaQ主要使用了拉模型，解决了顺序消息和海量堆积的问题。RocketMQ基于长轮询的拉取方式，兼有两者的优点。<br>​      每一次产品迭代，都吸取了之前的经验教训，目前RocketMQ已经成为Apache顶级项目。在阿里内部，RocketMQ很好地服务了集团大大小小上千个应用，在每年的双十一当天，更有不可思议的万亿级消息通过RocketMQ流转（在2017年的双十一当天，整个阿里巴巴集团通过RocketMQ流转的线上消息达到了万亿级，峰值TPS达到5600万），在阿里大中台策略上发挥着举足轻重的作用。<br>此外，RocketMQ是使用Java语言开发的，比起Kafka的Scala语言和RabbitMQ的Erlang语言，更容易找到技术人员进行定制开发。</p>
<p>从RocketMQ Github主页上可以找到如下表述。</p>
<blockquote>
<p><strong>Apache RocketMQ is a distributed messaging and streaming platform with low latency, high performance and reliability, trillion-level capacity and flexible scalability.</strong></p>
<p>It offers a variety of features:</p>
<ul>
<li>Pub/Sub messaging model</li>
<li>Financial grade transactional message</li>
<li>A variety of cross language clients, such as Java, C/C++, Python, Go</li>
<li>Pluggable transport protocols, such as TCP, SSL, AIO</li>
<li>Inbuilt message tracing capability, also support opentracing</li>
<li>Versatile big-data and streaming ecosytem integration</li>
<li>Message retroactivity by time or offset</li>
<li>Reliable FIFO and strict ordered messaging in the same queue</li>
<li>Efficient pull&amp;push consumption model</li>
<li>Million-level message accumulation capacity in a single queue</li>
<li>Multiple messaging protocols like JMS and OpenMessaging</li>
<li>Flexible distributed scale-out deployment architecture</li>
<li>Lightning-fast batch message exchange system</li>
<li>Various message filter mechanics such as SQL and Tag</li>
<li>Docker images for isolated testing and cloud isolated clusters</li>
<li>Feature-rich administrative dashboard for configuration, metrics and monitoring</li>
<li>Authentication and authorisation</li>
</ul>
</blockquote>
<p>大概意思我在这里翻译一下:</p>
<p>​    Apache RocketMQ是一个分布式消息传递和流媒体平台，具有低延迟，高性能和可靠性，万亿级容量和灵活的可伸缩性。</p>
<p>它具有多种功能：</p>
<ul>
<li>发布/订阅消息传递模型</li>
<li>金融级交易消息</li>
<li>各种跨语言客户端，例如Java，C / C ++，Python，Go</li>
<li>可插拔的传输协议，例如TCP，SSL，AIO</li>
<li>内置的消息跟踪功能，还支持开放式跟踪</li>
<li>多功能的大数据和流生态系统集成</li>
<li>按时间或偏移量追溯消息</li>
<li>可靠的FIFO和严格的有序消息传递在同一队列中</li>
<li>高效的推拉消费模型</li>
<li>单个队列中的百万级消息累积容量</li>
<li>多种消息传递协议，例如JMS和OpenMessaging</li>
<li>灵活的分布式横向扩展部署架构</li>
<li>快如闪电的批量消息交换系统</li>
<li>如SQL和Tag各种消息过滤器机制</li>
<li>用于隔离测试和云隔离群集的Docker映像</li>
<li>功能丰富的管理仪表板，用于配置，指标和监视</li>
<li>认证与授权管理</li>
</ul>
<h2 id="1-4-各种MQ产品的比较"><a href="#1-4-各种MQ产品的比较" class="headerlink" title="1.4 各种MQ产品的比较"></a>1.4 各种MQ产品的比较</h2><p>常见的MQ产品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。 </p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171150.png" alt="主流MQ对比1"></p>
<p><img src="https://ltyeamin.github.io/imgs/2020/07/20200731171221.png" alt="主流MQ对比2"></p>
<h1 id="2-总结"><a href="#2-总结" class="headerlink" title="2.  总结"></a>2.  总结</h1><p>​    RocketMQ基于Java开发的，完全的分布式架构，API相对比较简单(相比RabbitMQ)，容易掌握，并在阿里巴巴集团内部经过了大量(双11)的实践，分性能强悍。唯一不足的一点是文档相对不是很多，若能跟随源码深入了解其内部机制，这也不算缺点。</p>
<h1 id="3-参考文档"><a href="#3-参考文档" class="headerlink" title="3. 参考文档"></a>3. 参考文档</h1><ul>
<li><p><a target="_blank" rel="noopener" href="http://rocketmq.apache.org/">RocketMQ主页</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="http://rocketmq.apache.org/docs/motivation/">为什么选择RocketMQ</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="https://github.com/apache/rocketmq/">RocketMQ Github</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="http://www.itmuch.com/other/mq-pk/">常见MQ产品对比</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="https://mp.weixin.qq.com/s/yLbj1sKwGv1pOxv8RtcBhw">17个方面对比主流MQ差异</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="https://item.jd.com/12501140.html">Rocket技术内幕</a></p>
</li>
<li><p><a target="_blank" rel="noopener" href="https://item.jd.com/12380430.html">Rocket实战与原理</a></p>
</li>
</ul>
</section>
    <!-- Tags START -->
    
      <div class="tags">
        <span>Tags:</span>
        
  <a href="/tags#RocketMQ" >
    <span class="tag-code">RocketMQ</span>
  </a>

      </div>
    
    <!-- Tags END -->
    <!-- NAV START -->
    
  <div class="nav-container">
    <!-- reverse left and right to put prev and next in a more logic postition -->
    
      <a class="nav-left" href="/2019/11/02/%E4%B8%83%E7%89%9B%E4%BA%91%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E7%A9%BA%E9%97%B4%E8%BF%81%E7%A7%BB%E8%84%9A%E6%9C%AC/">
        <span class="nav-arrow">← </span>
        
          七牛云对象存储空间迁移脚本
        
      </a>
    
    
      <a class="nav-right" href="/2019/11/09/RocketMQ%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA/">
        
          RocketMQ集群搭建
        
        <span class="nav-arrow"> →</span>
      </a>
    
  </div>

    <!-- NAV END -->
    <!-- 打赏 START -->
    
      <div class="money-like">
        <div class="reward-btn">
          赏
          <span class="money-code">
            <span class="alipay-code">
              <div class="code-image"></div>
              <b>使用支付宝打赏</b>
            </span>
            <span class="wechat-code">
              <div class="code-image"></div>
              <b>使用微信打赏</b>
            </span>
          </span>
        </div>
        <p class="notice">若你觉得我的文章对你有帮助，欢迎点击上方按钮对我打赏</p>
      </div>
    
    <!-- 打赏 END -->
    <!-- 二维码 START -->
    
      <div class="qrcode">
        <canvas id="share-qrcode"></canvas>
        <p class="notice">扫描二维码，分享此文章</p>
      </div>
    
    <!-- 二维码 END -->
    
      <!-- Utterances START -->
      <div id="utterances"></div>
      <script src="https://utteranc.es/client.js"
        repo="ltyeamin/blogtalks"
        issue-term="pathname"
        theme="github-light"
        crossorigin="anonymous"
        async></script>    
      <!-- Utterances END -->
    
  </article>
  <!-- Article END -->
  <!-- Catalog START -->
  
    <aside class="catalog-container">
  <div class="toc-main">
    <strong class="toc-title">Catalog</strong>
    
      <ol class="toc-nav"><li class="toc-nav-item toc-nav-level-1"><a class="toc-nav-link" href="#1-MQ%E4%BB%8B%E7%BB%8D"><span class="toc-nav-text">1. MQ介绍</span></a><ol class="toc-nav-child"><li class="toc-nav-item toc-nav-level-2"><a class="toc-nav-link" href="#1-1-%E4%B8%BA%E4%BB%80%E4%B9%88%E8%A6%81%E7%94%A8MQ"><span class="toc-nav-text">1.1 为什么要用MQ</span></a></li><li class="toc-nav-item toc-nav-level-2"><a class="toc-nav-link" href="#1-2-MQ%E7%9A%84%E4%BC%98%E7%82%B9%E5%92%8C%E7%BC%BA%E7%82%B9"><span class="toc-nav-text">1.2 MQ的优点和缺点</span></a></li><li class="toc-nav-item toc-nav-level-2"><a class="toc-nav-link" href="#1-3-RocetMQ%E5%8E%86%E5%8F%B2%E5%8F%8A%E5%85%B6%E7%89%B9%E5%BE%81"><span class="toc-nav-text">1.3 RocetMQ历史及其特征</span></a></li><li class="toc-nav-item toc-nav-level-2"><a class="toc-nav-link" href="#1-4-%E5%90%84%E7%A7%8DMQ%E4%BA%A7%E5%93%81%E7%9A%84%E6%AF%94%E8%BE%83"><span class="toc-nav-text">1.4 各种MQ产品的比较</span></a></li></ol></li><li class="toc-nav-item toc-nav-level-1"><a class="toc-nav-link" href="#2-%E6%80%BB%E7%BB%93"><span class="toc-nav-text">2.  总结</span></a></li><li class="toc-nav-item toc-nav-level-1"><a class="toc-nav-link" href="#3-%E5%8F%82%E8%80%83%E6%96%87%E6%A1%A3"><span class="toc-nav-text">3. 参考文档</span></a></li></ol>
    
  </div>
</aside>
  
  <!-- Catalog END -->
</main>

<script>
  (function () {
    var url = 'http://example.com/2019/11/08/RocketMQ概述/';
    var banner = ''
    if (banner !== '' && banner !== 'undefined' && banner !== 'null') {
      $('#article-banner').css({
        'background-image': 'url(' + banner + ')'
      })
    } else {
      $('#article-banner').geopattern(url)
    }
    $('.header').removeClass('fixed-header')

    // error image
    $(".markdown-content img").on('error', function() {
      $(this).attr('src', '/css/images/error_icon.png')
      $(this).css({
        'cursor': 'default'
      })
    })

    // zoom image
    $(".markdown-content img").on('click', function() {
      var src = $(this).attr('src')
      if (src !== '/css/images/error_icon.png') {
        var imageW = $(this).width()
        var imageH = $(this).height()

        var zoom = ($(window).width() * 0.95 / imageW).toFixed(2)
        zoom = zoom < 1 ? 1 : zoom
        zoom = zoom > 2 ? 2 : zoom
        var transY = (($(window).height() - imageH) / 2).toFixed(2)

        $('body').append('<div class="image-view-wrap"><div class="image-view-inner"><img src="'+ src +'" /></div></div>')
        $('.image-view-wrap').addClass('wrap-active')
        $('.image-view-wrap img').css({
          'width': `${imageW}`,
          'transform': `translate3d(0, ${transY}px, 0) scale3d(${zoom}, ${zoom}, 1)`
        })
        $('html').css('overflow', 'hidden')

        $('.image-view-wrap').on('click', function() {
          $(this).remove()
          $('html').attr('style', '')
        })
      }
    })
  })();
</script>


  <script>
    var qr = new QRious({
      element: document.getElementById('share-qrcode'),
      value: document.location.href
    });
  </script>






    <div class="scroll-top">
  <span class="arrow-icon"></span>
</div>
    <footer class="app-footer">
  <p class="copyright">
    &copy; 2024 | Proudly powered by <a href="https://hexo.io" target="_blank">Hexo</a>
    <br>
    Theme by <a target="_blank" rel="noopener" href="https://github.com/ltyeamin">tong.li</a>
  </p>
</footer>

<script>
  function async(u, c) {
    var d = document, t = 'script',
      o = d.createElement(t),
      s = d.getElementsByTagName(t)[0];
    o.src = u;
    if (c) { o.addEventListener('load', function (e) { c(null, e); }, false); }
    s.parentNode.insertBefore(o, s);
  }
</script>
<script>
  async("https://cdn.staticfile.org/fastclick/1.0.6/fastclick.min.js", function(){
    FastClick.attach(document.body);
  })
</script>

<script>
  var hasLine = 'true';
  async("https://cdn.staticfile.org/highlight.js/9.12.0/highlight.min.js", function(){
    $('figure pre').each(function(i, block) {
      var figure = $(this).parents('figure');
      if (hasLine === 'false') {
        figure.find('.gutter').hide();
      }
      hljs.configure({useBR: true});
      var lang = figure.attr('class').split(' ')[1] || 'code';
      var codeHtml = $(this).html();
      var codeTag = document.createElement('code');
      codeTag.className = lang;
      codeTag.innerHTML = codeHtml;
      $(this).attr('class', '').empty().html(codeTag);
      figure.attr('data-lang', lang.toUpperCase());
      hljs.highlightBlock(block);
    });
  })
</script>
<!-- Baidu Tongji -->



<script src='https://cdn.staticfile.org/mermaid/8.11.2/mermaid.min.js'></script>



<script src="/js/script.js"></script>


  </body>
</html>